Large language models (LLMs) have been shown to be able to perform new tasks based on a few demonstrations or natural language instructions. While these capabilities have led to widespread adoption, most LLMs are developed by resource-rich organizations and are frequently kept from the public. As a step towards democratizing this powerful technology, we present BLOOM, a 176B-parameter open-access language model designed and built thanks to a collaboration of hundreds of researchers. BLOOM is a decoder-only Transformer language model that was trained on the ROOTS corpus, a dataset comprising hundreds of sources in 46 natural and 13 programming languages (59 in total). We find that BLOOM achieves competitive performance on a wide variety of benchmarks, with stronger results after undergoing multitask prompted finetuning. To facilitate future research and applications using LLMs, we publicly release our models and code under the Responsible AI License.

弱监督（WS）是一种有力的方法，可以构建标记的数据集，面对几乎没有标记的数据，用于培训监督模型。它用标签函数（LFS）表达的多个嘈杂但廉价标签的估计取代了手持标签数据。尽管它已成功地用于许多域中，但弱监督的应用程序范围受到构造具有复杂或高维特征的域的标记功能的困难。为了解决这个问题，少数方法提出了使用一小部分地面真实标签自动化LF设计过程的方法。在这项工作中，我们介绍了aettos-bench-101：在挑战WS设置中评估自动化WS（autows）技术的框架 - 以前难以或不可能应用传统的WS技术是一组不同的应用程序域。虽然AtoW是扩展WS应用程序范围的有希望的方向，但诸如零击基础模型之类的强大方法的出现揭示了需要了解介绍技术如何与现代零射击或几次学习者进行比较或合作。这为autows-bench-101的中心问题提供了信息：给定每个任务的初始集100个标签，我们询问从业者是否应使用autows方法生成其他标签或使用一些简单的基线，例如来自基础模型或监督学习。我们观察到，在许多情况下，如果启动方法要超越基础模型的信号，则有必要超越简单的几个基线，而autows bench-101可以促进该方向的未来研究。我们以详尽的介绍方法进行彻底消融研究。

机器学习（ML）算法在帮助不同学科和机构的科学社区解决大型和多样化的数据问题方面表现出了增长的趋势。但是，许多可用的ML工具在编程方面要求且计算成本高昂。 MlexChange项目旨在建立一个配备有能力工具的协作平台，该平台使科学家和设施使用者没有深刻的ML背景来使用ML和计算资源进行科学发现。在高水平上，我们针对完整的用户体验，在该体验中，可以通过Web应用程序可以轻松获得管理和交换ML算法，工作流和数据。到目前为止，我们已经构建了四个主要组件，即中央职位管理器，集中式内容注册表，用户门户和搜索引擎，并成功地将这些组件部署到了测试服务器上。由于每个组件都是一个独立的容器，因此可以轻松地在不同尺度的服务器上部署整个平台或其个人服务，从笔记本电脑（通常是单个用户）到高性能群集（HPC）（同时）通过许多用户。因此，MlexChange使用方案使灵活性变得灵活 - 用户可以从远程服务器访问服务和资源，也可以在其本地网络中运行整个平台或其个人服务。

语言模型既展示了定量的改进，又展示了新的定性功能，随着规模的增加。尽管它们具有潜在的变革性影响，但这些新能力的特征却很差。为了为未来的研究提供信息，为破坏性的新模型能力做准备，并改善社会有害的效果，至关重要的是，我们必须了解目前和近乎未来的能力和语言模型的局限性。为了应对这一挑战，我们介绍了超越模仿游戏基准（Big Bench）。 Big Bench目前由204个任务组成，由132家机构的442位作者贡献。任务主题是多样的，从语言学，儿童发展，数学，常识性推理，生物学，物理学，社会偏见，软件开发等等。 Big-Bench专注于被认为超出当前语言模型的功能的任务。我们评估了OpenAI的GPT型号，Google内部密集变压器体系结构和大型基础上的开关稀疏变压器的行为，跨越了数百万到数十亿个参数。此外，一个人类专家评估者团队执行了所有任务，以提供强大的基准。研究结果包括：模型性能和校准都随规模改善，但绝对的术语（以及与评估者的性能相比）；在模型类中的性能非常相似，尽管带有稀疏性。逐渐和预测的任务通常涉及大量知识或记忆成分，而在临界规模上表现出“突破性”行为的任务通常涉及多个步骤或组成部分或脆性指标；社交偏见通常会随着含糊不清的环境而随着规模而增加，但这可以通过提示来改善。

对于大型小分子的大型库，在考虑一系列疾病模型，测定条件和剂量范围时，详尽的组合化学筛选变得不可行。深度学习模型已实现了硅的最终技术，以预测协同得分。但是，药物组合的数据库对协同剂有偏见，这些结果不一定会概括分布不足。我们采用了使用深度学习模型的顺序模型优化搜索来快速发现与癌细胞系相比的协同药物组合，而与详尽的评估相比，筛查要少得多。在仅3轮ML引导的体外实验（包括校准圆圈）之后，我们发现，对高度协同组合进行了查询的一组药物对。进行了另外两轮ML引导实验，以确保趋势的可重复性。值得注意的是，我们重新发现药物组合后来证实将在临床试验中研究。此外，我们发现仅使用结构信息生成的药物嵌入开始反映作用机理。

弱监督（WS）框架是一种绕过手工标记大型数据集的流行方式，用于培训数据饥饿的模型。这些方法综合了多种噪声，但更便宜地获得了对下游训练的一套高质量伪标签的标签。然而，合成技术特异于特定类型的标签，例如二元标记或序列，并且每种新标签类型需要手动设计新的合成算法。相反，我们提出了一种普遍的技术，它可以通过任何标签类型的弱监管，同时仍提供所需的性质，包括实际灵活性，计算效率和理论保证。我们将这种技术应用于以前不被WS框架解决的重要问题，包括学习在双曲线歧管中的排名，回归和学习。从理论上讲，我们的合成方法产生一致的估计，用于学习挑战但是指数家庭模型的重要概括。通过实验，我们验证了我们的框架，并在不同的环境中显示了基础的基准，包括真实的学习 - 排名和回归问题以及学习在双曲线歧管上。

大多数现有的神经体系结构搜索（NAS）基准和算法优先考虑了良好的任务，例如CIFAR或Imagenet上的图像分类。这使得在更多样化的领域的NAS方法的表现知之甚少。在本文中，我们提出了NAS-Bench-360，这是一套基准套件，用于评估超出建筑搜索传统研究的域的方法，并使用它来解决以下问题：最先进的NAS方法在多样化的任务？为了构建基准测试，我们策划了十个任务，这些任务涵盖了各种应用程序域，数据集大小，问题维度和学习目标。小心地选择每个任务与现代CNN的搜索方法互操作，同时可能与其原始开发领域相距遥远。为了加快NAS研究的成本，对于其中两个任务，我们发布了包括标准CNN搜索空间的15,625个体系结构的预定性能。在实验上，我们表明需要对NAS BENCH-360进行更强大的NAS评估，从而表明几种现代NAS程序在这十个任务中执行不一致，并且有许多灾难性差的结果。我们还展示了NAS Bench-360及其相关的预算结果将如何通过测试NAS文献中最近推广的一些假设来实现未来的科学发现。 NAS-Bench-360托管在https://nb360.ml.cmu.edu上。

Automl的一个重要目标是自动化在探索域内的新任务上的神经网络设计。通过这一目标激励，我们研究了使用户能够发现来自其特定域的数据的正确神经操作的问题。我们介绍一个名为XD-Operation的搜索空间，这些操作模仿标准多通道卷曲的归纳偏差，同时更具表现力：我们证明它包括多个应用程序区域的许多命名操作。从Reset等任何标准骨干开始，我们展示了如何通过XD操作将其转换为搜索空间以及如何使用简单的权重共享方案遍历空间。在各种任务组合 - 求解PDES，距离蛋白质折叠和音乐建模的距离预测 - 我们的方法一致地产生比基线网络更低的误差的模型，并且通常更低的误差比专业设计的域特定方法更低。

It has become common to publish large (billion parameter) language models that have been trained on private datasets. This paper demonstrates that in such settings, an adversary can perform a training data extraction attack to recover individual training examples by querying the language model. We demonstrate our attack on GPT-2, a language model trained on scrapes of the public Internet, and are able to extract hundreds of verbatim text sequences from the model's training data. These extracted examples include (public) personally identifiable information (names, phone numbers, and email addresses), IRC conversations, code, and 128-bit UUIDs. Our attack is possible even though each of the above sequences are included in just one document in the training data.We comprehensively evaluate our extraction attack to understand the factors that contribute to its success. Worryingly, we find that larger models are more vulnerable than smaller models. We conclude by drawing lessons and discussing possible safeguards for training large language models.

This paper expounds the design and control of a new Variable Stiffness Series Elastic Actuator (VSSEA). It is established by employing a modular mechanical design approach that allows us to effectively optimise the stiffness modulation characteristics and power density of the actuator. The proposed VSSEA possesses the following features: i) no limitation in the work-range of output link, ii) a wide range of stiffness modulation (~20Nm/rad to ~1KNm/rad), iii) low-energy-cost stiffness modulation at equilibrium and non-equilibrium positions, iv) compact design and high torque density (~36Nm/kg), and v) high-speed stiffness modulation (~3000Nm/rad/s). Such features can help boost the safety and performance of many advanced robotic systems, e.g., a cobot that physically interacts with unstructured environments and an exoskeleton that provides physical assistance to human users. These features can also enable us to utilise variable stiffness property to attain various regulation and trajectory tracking control tasks only by employing conventional controllers, eliminating the need for synthesising complex motion control systems in compliant actuation. To this end, it is experimentally demonstrated that the proposed VSSEA is capable of precisely tracking desired position and force control references through the use of conventional Proportional-Integral-Derivative (PID) controllers.